#今日论文推荐#ECCV 2022 Oral |AutoMix：自反馈学习的Mixup训练框架

我们发表于ECCV2022 (Oral)的工作尝试并实现了一种具有“闭环自反馈”的学习框架（AutoMix）以解决“数据-模型”动态系统中的复杂度和准确性的权衡问题。具体来讲这是一个数据随模型变化，模型随数据更新的双层优化问题。不同于固定的数据增广策略的模式（独立于模型的优化），AutoMix将参数化后的mixup数据增广策略融入到判别模型中，形成一个完整的数据与模型相互学习的闭环系统，即同时学习mixup样本的（1）生成任务和 （2）判别任务。 （1）是根据判别模型的状态自适应的学习精确的数据生成策略； （2）则是基于所学习的增广策略来增强模型对数据中重要特征的判别能力。 这两种子任务服务于一个相同的优化目标，具有自一致性。大量实验也表明，判别式模型在AutoMix的闭环自学习系统（自一致性+闭环反馈）中具有更高效学习效率和明显的性能提升。

神经网络模型（DNNs）的泛化性能在机器学习领域一直受到广泛的关注和研究，DNNs能兼具高性能和泛化性通常需要满足两个条件：1）过参数化的模型。2）充足的训练样本。但是，在数据量不足或DNNs模型复杂度过高的情况下，模型容易出现过拟合现象，导致性能和泛化能力明显下降。 数据增强(Data Augmentation, DA)算法作为一种DNNs正则化手段能够显著提升模型的泛化性能，而基于数据混合(Data Mixing)的一系列数据增强算法，兼顾了样本和标签。基于混合的增广算法通过凸性组合（Convex Combination）来生成虚拟样本和标签，达到扩充样本量和提高数据分布多样性的目的。 样本混合增强算法的核心问题是如何生成合理的混合样本以及对应的混合标签，在图像分类任务中，一般固定混合标签的生成方式，改进混合图像的生成算法。如下图所示，CutMix将一张图像的局部区域随机替换为另一张图像的对应区域，并根据混合图像上不同像素的面积比例生成混合标签。但是由于CutMix在原图上选取局部区域的位置和尺寸均是随机选择，可能出现被切割的区域不包含分类任务相关目标的现象，这将导致混合标签与混合图像中目标的语义不匹配而误导模型的优化。

论文题目：AutoMix: Unveiling the Power of Mixup for Stronger Classifiers 详细解读：https://www.aminer.cn/research_report/62f4f5a67cb68b460f00c3b2https://www.aminer.cn/research_report/62f4f5a67cb68b460f00c3b2 AMiner链接：https://www.aminer.cn/?f=cs